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虚拟 现实 环境 的 视听 体验 设计 


摘 要: 本 文 结合 虚拟 现实 的 体验 特征 与 人 体 视 、 听 觉 感 官 的 作用 机 制 ， 分 析 虚 拟 现实 环境 中 视听 体验 设计 的 基本 要 素 ， 


并 从 中 获得 虚拟 现实 视听 系统 设计 思路 指导 。 
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虚拟 现实 (Virtual Reality， 简 称 VR ) 这 一 概念 产生 
于 人 类 对 现实 世界 的 探索 与 模拟 ， 是 人 类 一 直 寻 求 通过 
艺术 或 技术 的 方式 再 现 现实 的 体现 。 它 从 一 项 主要 用 于 
军事 、 航 天 等 领域 仿真 演练 的 尖端 科技 逐渐 普及 为 人 类 
日 常 。 如 今 ， 人 们 可 通过 使 用 VR 头 戴 设备 或 进入 VR 体 
验 区 等 来 感受 VR 世界 亦 真 亦 幻 的 魅力 ， 尤 其 是 逼真 的 
视听 效果 ， 让 体验 者 们 仿佛 置身 幻境 。 

虚拟 现实 是 以 计算 机 技术 为 核心 ,结合 相 关 科学 
技术 ， 生 成 与 一 定 范围 真实 环境 在 视 、 听 、 触感 等 方 
面 高 度 近 似 的 数字 化 环境 ， 用 户 借 助 必要 的 装备 与 数字 
化 环境 中 的 对 象 进行 交互 作用 、 相 互 影响 ， 可 以 产生 末 
临 对 应 真实 环境 的 感受 和 体验 ， 即 在 数字 化 环境 中 产生 
在 真实 环境 的 认 知 。 知 觉 研究 著名 学 者 吉布森 (丁丁 
Gibson ) 认为 ,我们 周围 的 环境 为 我 们 的 生存 提供 了 足够 
的 充分 的 信息 ， 人 体感 官 的 构成 也 使 人 具备 获取 信息 的 
能 力 。 现 实 世界 中 ， 环 境 信息 直接 刺激 人 的 感知 器 官 ， 
在 VR 环境 里 ， 这 些 信息 需 通 过 技术 手段 被 复制 或 模拟 ， 
借助 传输 设备 作用 到 使 用 者 的 感知 神经 。 从 本 质 看 ， 虚 
拟 现实 系统 是 包含 各 种 认 知 信息 的 综合 体 ， 这 些 信息 越 
逼真 、 越 丰富 ， 带 来 的 认 知 感受 越 贴 近 现实 。 

人 的 感官 主要 有 视 、 听 、 嗅 、 味 、 和 触 等 ， 分 别 对 应 
获取 环境 中 的 光线 、 声 音 、 味 道 、 质 地 等 信息 。 独 立 的 
感官 系统 或 多 感官 协作 还 可 产生 空间 感 .方向 感 等 。 其 中 ， 
视觉 和 听觉 是 人 体 获 取 外 界 信息 最 重要 的 两 大 渠道 ， 人 
们 通过 看 和 听 能 基本 完成 对 外 界 环境 的 认 知 感受 。 因此， 
在 VR 环境 构建 中 ， 视 听 系 统 的 仿真 模拟 是 虚拟 环境 真 
实感 的 重要 着 力 点 ， 需 充分 参考 人 视听 感官 的 生理 机 制 
和 VR 体验 特征 来 设计 实现 。 


文献 标识 码 : A 
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1. 虚拟 现实 中 的 视听 体验 特征 

1993 年 ，Heim 提出 “VR 是 一 种 在 效应 上 而 不 是 事 
实 上 真实 的 或 实体 ”, 同时 刻画 了 VR 的 7 个 特征 : 模拟 性 、 
交互 作用 、 人 工 现实 ,沉浸 性 、 帝 在 、 全 身 沉浸 和 网 络 通信 。 
1994 年 ，Burdea 等 出 版 了 《Virtual Reality Technology》 
一 书 ， 书 中 他 们 用 3“T” 一 一 沉浸 感 (immersion ) 、 交 
互 性 (interaction ) 、 构 想 性 (imagination ) 概括 了 VR 的 
基本 特征 ， 这 也 是 VR 视听 系统 的 体验 诉求 。 

其 中 ， 沉 温 感 与 VR 技术 对 现实 世界 的 模拟 程度 成 
正比 , 仿真 度 越 高 ， 体 验 者 的 认 知 活动 越 不 被 干扰 ， 沉 
浸 感 越 强 。 如 前 文 所 述 ， 视 听 是 VR 系统 中 最 重要 的 部 
分 之 一 ， 人 可 能 接收 到 的 所 有 真实 视 、 听 信息 是 实现 VR 
沉浸 感 的 重要 参考 。 此 外 ， 沉 温 感 体现 出 使 用 者 对 VR 环 
境 是 被 包含 、 被 融入 的 关系 ， 从 感知 角度 强调 了 VR 环 
境 应 是 一 个 立体 空间 ， 因 此 ，VR 视听 系统 需 满足 人 对 纵 
深 、 方 位 等 空间 信息 的 需求 。 

VR 沉浸 体验 不 仅 来 自 于 立体 空间 感 ， 也 来 自 使 用 者 
与 环境 间 的 互动 行为 ，VR 的 交互 性 特征 可 为 用 户 带 来 行 
为 系统 的 沉浸 感 。VR 的 交互 性 不 仅 指 对 体验 者 有 意识 的 
操作 给 予 反 馈 ， 还 应 在 体验 者 发 生 无 意识 的 行为 时 ， 及 
时 模拟 真实 环境 做 出 变化 。 如 使 用 者 转动 头 部 ， 设 备 中 
的 画面 随 之 转动 ， 以 模拟 视野 的 调整 。 

构想 性 是 VR“ 源 自 现实 又 超越 现实 ”的 体现 ， 强 调 
了 设计 者 在 其 中 的 主导 地 位 。 虚 拟 现实 本 质 上 是 人 类 寻 
求 感官 模拟 和 复制 的 一 种 途径 ， 在 模拟 过 程 中 也 存在 对 
现实 世界 物理 性 的 超越 。 从 视听 角度 看 ，VR“ 人 允许 我 们 
以 前 所 未 有 的 丰富 细节 与 深度 ,观察 和 跟踪 真实 世界 ”,， 
并 通过 技术 手段 “安排 ”人 们 的 视听 活动 ， 这 进一步 满 
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足 了 体验 者 的 审美 诉求 并 形成 情感 共鸣 。 
2. 虚拟 现实 的 视听 体验 设计 

以 VR 的 3“T” 特 征 为 指导 ，VR 视听 体验 设计 应 从 
人 感知 活动 的 生理 机 制 和 体验 诉求 两 个 角度 出 发 。 其 
视觉 部 分 主要 有 视觉 逼真 、 空 间 视 觉 和 位 置 /方向 跟踪 三 
个 方面 , 听觉 部 分 主要 为 视 景 伴音 、 方 位 信息 两 个 方面 。 
2.1 视觉 部 分 

VR 对 现实 世界 的 模拟 包括 模拟 目标 对 象 、 对 象 间 的 
关系 和 相互 作用 、 与 对 象 发 展 变化 遵循 的 规律 。VR 视觉 
系统 针对 于 人 有 眼 所 见 的 画面 ， 可 从 这 三 个 层面 分 为 视觉 
逼真 、 空 间 视觉 和 位 置 、 方 向 跟踪 。 

视觉 通 真 指 VR 技术 对 现实 视觉 画面 的 仿真 。 从 视 
觉 信息 构建 方面 ， 模 拟 对 象 的 静止 、 运 动 形 态 、 环 境 景 
观 等 构成 VR 画面 主要 内 容 ， 要 求 数字 建 模 合 理 、 可 辩 。 
从 视觉 信息 传输 方面 ， 头 显 设备 的 显 像 能 力也 对 视觉 逼 
真 感 有 影响 ， 主 要 为 技术 因素 。 一 是 画面 视 域 。 人 的 正 
常 单 色 视 域 约 为 水 平 200 度 ， 垂直 130 度 其中， 人 了 眼 
主要 对 中 心 为 20 度 的 视 域 敏感 。 因 此 ， 设 计 VR 视觉 系 
统 时 应 确保 中 心 20 度 的 显 像 水 平 ， 并 尽 可 能 开拓 周边 视 
域 。 二 是 帧 频 和 分 辨 率 。VR 视觉 系统 形成 实时 画面 是 通 
过 相互 独立 的 序列 帧 图 像 ， 由 大 脑 视 觉 残 留 能 力 形成 连 
续 画 面 ， 由 VR 显示 器 传达 至 人 眼 。 受 到 摄像 机 和 显示 器 
性 能 的 限制 ，VR 显 像 存在 细微 的 帧 频 滞 后 与 传 感 显示 的 
延 时 , 因此 , 过 于 复杂 的 显 像 环节 将 带 来 VR 场景 的 失真 。 

空间 视觉 指 人 类 通过 视觉 可 在 大 脑 形 成 空间 深度 感 ， 
以 此 判断 自己 和 关注 物体 间 的 空间 距离 。 空 间 深度 感 主 
要 由 四 种 基本 类 型 的 深度 线索 而 得 一 是 静态 深度 线索 ， 
指 通 过 静态 图 像 就 能 获得 的 深度 线索 ， 如 物体 的 相互 位 
置 、 物 体 清晰 程度 、 物 体 的 相对 大 小 等 ， 二 是 运动 深度 
线索 ， 指 在 动态 图 像 中 获得 的 深度 线索 ， 如 看 到 物体 由 
小 变 大 可 感觉 到 物体 的 由 远 而 近 ; 三 是 生理 深度 线索 ， 
既 通过 大 脑 监 视 眼 球 和 眼 周 肌肉 的 调节 程度 产生 深度 感 
觉 ， 四 是 双 目 视差 线索 ， 指 由 于 双眼 的 水 平 瞳 距 ， 使 景 
物 中 的 任意 点 在 两 眼中 形成 的 图 像 存 在 水 平 位 置 的 差异 
从 而 形成 双 目 视差 ， 进 而 感知 到 目标 物体 的 远近 深度 。 
前 两 者 需 在 环境 的 三 维 坐标 中 寻找 参照 ， 根 据 目 标 对 象 
与 参照 对 象 间 的 差异 获得 线索 。 目 标 与 参照 可 是 同 环境 
下 的 不 同 对 象 ， 或 对 象 与 整体 环境 ， 也 可 是 同一 对 象 运 
动 的 不 同 状态 。 后 两 者 主要 利用 人 类 视觉 系统 多 种 机 制 
交叉 协作 ， 更 多 从 体验 者 内 部 产生 效应 。 

位 置 /方向 跟踪 是 VR 对 现实 世界 视觉 规则 的 模仿 ， 
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是 VR 显 像 对 体验 者 行为 的 动态 响应 ， 为 体验 者 带 来 行 
为 系统 的 沉浸 感 。 这 主要 体现 在 VR 体验 者 转动 头 、 眼 时 ， 
头 显 画面 根据 转动 角度 及 时 做 出 调整 ， 模 拟 真 实 环境 中 
视角 的 变化 。 这 不 仅 从 视觉 活动 上 紧密 关联 体验 者 与 虚 
拟 环 境 形 成 临 境 感 ， 从 视觉 信息 角度 ， 模 拟 视 角 变化 时 
VR 环境 中 事物 透视 关系 的 变化 也 将 丰富 体验 者 的 视觉 空 
间 感 。 这 一 方面 要 求 软件 技术 对 使 用 者 眼球 、 头 部 运动 
捕 提 的 精确 及 时 ， 硬 件 设 备 不 得 对 人 眼 、 头 的 运动 产生 
阻碍 ; 另 一 方面 要 求 VR 显示 系统 具备 一 定 运算 成 像 能 
减少 模拟 透视 变化 带 来 的 延 时 滞后 。 

综 上 ,可 获取 以 下 几 点 VR 视觉 体验 设计 思路 指导 : 

对 于 模拟 对 象 ， 数 字 建 模 应 做 到 物体 静态 时 外 形 特 
征 清晰 可 辨 ,动态 时 遵循 合理 的 运动 原理 ， 同 时 充分 考 
虑 硬件 设备 的 技术 瓶颈 ， 在 有 限 的 技术 条 件 下 充分 利用 
成 熟 、 稳 定 的 实现 手段 。 人 眼 视 域 敏 感 区 为 视角 中 心 20 
度 左右 ， 为 减轻 头 显 设 备 运算 负担 ， 可 适当 简化 、 弱 化 
边缘 区 域 的 事物 模拟 。 例 如 ， 在 微 鲸 VR 影视 作品 中 常 将 
有 效 信息 集中 显示 在 一 定 范围 的 虚拟 舞台 上 ， 四 周 加 入 
三 维 光影 效果 延伸 出 画面 , 从 而 控制 VR 视频 的 技术 难度 ， 
弥补 显示 设备 视 域 的 不 足 。 

对 于 对 象 与 对 象 、 对 象 与 环境 间 的 关系 ,空间 视 
是 使 人 眼 获 得 的 二 维 图 像 信息 形成 空间 深度 感 的 重要 
力 ， 当 体验 设计 对 虚拟 环境 建设 提出 体现 空间 距离 的 需 
求 ， 可 通过 着 重 乃 至 夸张 表现 环境 中 单个 物体 本 身 或 多 
个 物体 之 间 的 位 置 、 大 小 、 虚 实 、 运 动 的 变化 。 例 如 ， 
2012 年 央视 春晚 中 的 《因为 爱情 》 歌 曲 表演 节目 中 加 入 
的 花 沟 球 酒 特效， 就 是 通过 夸张 放大 的 花 淮 运动 与 男女 
主角 虚实 变焦 来 营造 广阔 的 舞台 空间 。 

对 于 对 象 与 环境 的 变化 规律 ， 眼 、 头 运动 的 捕捉 和 
VR 系统 的 反馈 及 时 是 最 重要 的 两 点 ,但 除了 对 视线 跟踪 
技术 的 研发 使 用 ， 也 应 关注 显现 设备 是 否 舒 适 稳固 。 目 
前 VR 头 戴 设备 主要 分 为 自 带 处 理 器 的 VR 一 体 机 、 搭 配 
智能 手机 使 用 的 VR 手机 盒子 与 其 简化 版 的 纸 盒 。VR 一 
体 机 大 多 笨重 ,长 期 使 用 会 造成 眼 部 、 人 颈 部 肌肉 的 疲劳 ， 
VR 盒子 虽 轻 便 但 存在 手机 位 置 固 定 不 稳 等 弊端 。 这 些 都 
影响 了 VR 视觉 系统 对 自然 状态 下 体验 者 眼 、 头 运动 及 
其 视觉 反馈 的 模拟 。 

2. 2 听觉 部 分 

听觉 是 人 类 仅 次 于 视觉 的 第 二 大 感知 来 源 ， 人 类 对 
客观 世界 的 感知 信息 有 15% 左右 来 自 听 觉 。 听 觉 信息 的 
作用 一 方面 为 实时 生成 的 视 景 伴音 ， 产 生 视 觉 和 听觉 的 
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县 加 效应 ， 达 到 声 像 融 合 ; 另 一 方面 三 维 声音 信息 可 补 
充 由 于 视野 所 限 、 视 景 示 显示 到 的 信息 ,使 人 可 监控 、 
识别 来 自任 何方 位 的 信息 , 不 仅仅 是 视野 内 的 方位 信息 。 

VR 系统 中 作为 视 景 伴音 的 声音 信息 直接 产生 于 体验 
者 的 听觉 感官 ， 体 验 诉求 主要 有 声音 仿真 与 声音 图 像 间 
的 同步 两 方面 。 声 音 仿 真 指 计算 机 生成 的 声音 应 尽 可 能 
的 通 近 真实 ， 模 拟 声音 在 不 同 密度 介质 中 的 音速 变化 、 
反射 、 折 射 ， 还 有 不 同 声 源 同时 发 声 时 ， 多 种 声音 的 县 
加 与 混合 。 声 画 同步 的 概念 源 自 影视 艺术 ， 指 声音 由 面 
面 中 人 、 物 体 或 环境 产生 ， 与 画面 协调 一 致 。 保 持 声 音 
与 画面 的 同步 融合 ， 可 极 大 地 增加 视听 系统 的 逼真 度 。 

声音 信息 向 方位 信息 的 转化 则 主要 由 人 的 “ 单 耳 效 
应 ”与 “ 双 耳 效应 ”实现 。“ 单 耳 效应 ” 即 “ 耳 廓 效应 ”， 
是 指 经 过 人 类 不 对 称 的 耳 廓 反射 之 后 ， 到 达 耳 膜 的 声波 
频谱 特征 与 其 声 源 的 方向 有 关 。 这 也 就 是 说 ， 人 赁 一 只 
耳 人 条 ,就 能 初步 辨 出 声音 的 方向 ,从 而 对 声音 进行 定位 。 
“ 双 耳 效应 ” (Duplex Theory ) 是 指 双 耳 位 于 头 的 两 侧 ， 
两 耳 之 间 有 一 定 的 距离 ， 那 么 声 源 发 出 的 声音 到 达 两 耳 
的 路 径 距 离 不 一 样 ， 声 音 的 延 时 和 衰减 就 不 同 ， 声 音 到 
达 的 时 间 和 强度 也 就 不 同 , 从 而 产生 听觉 的 空间 感 。 对 此 ， 
VR 听觉 系统 在 模拟 声音 环境 时 ， 一 可 通过 改变 目标 声 源 
与 环境 声 传人 人 耳 的 时 间 差 来 模拟 虚拟 环绕 效果 ， 二 可 
配合 眼 、 头 转动 的 方位 角度 调整 左右 耳 接 收 声音 信号 的 
时 间 、 强 弱 ,， 来 模拟 声 源 至 体验 者 头 部 中 心 距离 方向 的 
变化 。 

因此 ， 为 达到 VR 听觉 系统 作为 画面 伴音 与 突显 空 
间 感 的 体验 效果 ， 需 从 三 个 角度 进行 声音 数据 的 储备 : 
模拟 目标 对 象 的 仿真 音源 ; 当前 虚拟 场景 下 的 环境 音 ， 
包括 多 种 声音 的 县 加 混 响 与 不 同 传播 介质 中 声音 传播 规 
律 变 化 的 体现 ; 对 体验 者 头 部 运动 的 动态 响应 。 前 二 者 
结合 目前 发 展 成 熟 稳定 的 环绕 声 技术 可 提高 听觉 的 的 真 
实感 与 临场 感 ， 后 者 则 再 次 强调 了 VR 系统 对 体验 者 头 
部 活动 的 跟踪 与 反馈 。 
3. 总 结 与 展望 

虚拟 现实 带 来 的 视听 体验 越过 了 传统 人 机 交互 需 借 
助 的 象征 符号 ， 直 接 介入 人 本 能 的 感知 活动 中 ， 通 过 模 
拟 真实 环境 对 人 体感 官 的 刺激 与 互动 ， 构 建 了 一 个 源 自 
现实 又 可 人 为 干预 的 数字 世界 。VR 视听 通过 对 感知 的 模 
拟 复 制 使 体验 者 的 身心 沉浸 于 数字 技术 构建 的 虚拟 空间 ， 
这 是 人 类 使 用 媒介 技术 再 现 现实 世界 的 尝试 ， 也 是 媒介 
形态 沿 着 “虚拟 化 ”脉络 发 展 的 体现 。 随 着 VR 技术 的 发 展 ， 
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VR 视听 体验 还 将 在 仿真 基础 上 打破 现实 存在 与 主观 想象 
的 界限 ， 带 来 超越 现 真 实 的 审美 体验 ， 解 放 人 类 受 限 于 
现实 条 件 的 理解 .情感 .想象 , 甚至 改变 人 们 对 自我 .世界 、 
时 空 的 看 法 。 申 
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